خوارزميات البحث باستخدام TypeScript: تنفيذ استرجاع المعلومات المعتمد على الأنواع

في عالم تطوير البرمجيات، يعتبر استرجاع المعلومات بكفاءة أمرًا بالغ الأهمية. تشغل خوارزميات البحث كل شيء بدءًا من عمليات البحث عن المنتجات في التجارة الإلكترونية وصولاً إلى عمليات البحث في قواعد المعرفة. يوفر TypeScript، بنظام أنواعه القوي، منصة قوية لتنفيذ هذه الخوارزميات وتحسينها. يستكشف منشور المدونة هذا كيفية الاستفادة من نظام أنواع TypeScript لإنشاء حلول بحث آمنة من حيث النوع، وعالية الأداء، وقابلة للصيانة.

فهم مفاهيم استرجاع المعلومات

قبل الغوص في تطبيقات TypeScript، دعنا نحدد بعض المفاهيم الرئيسية في استرجاع المعلومات:

• المستندات: وحدات المعلومات التي نريد البحث فيها. يمكن أن تكون هذه ملفات نصية، أو سجلات قاعدة بيانات، أو صفحات ويب، أو أي بيانات منظمة أخرى.
• الاستعلامات: مصطلحات البحث أو العبارات التي يقدمها المستخدمون للعثور على المستندات ذات الصلة.
• الفهرسة: عملية إنشاء بنية بيانات تسمح بالبحث الفعال. أحد الأساليب الشائعة هو إنشاء فهرس مقلوب، يقوم بربط الكلمات بالمستندات التي تظهر فيها.
• الترتيب: عملية تعيين درجة لكل مستند بناءً على مدى صلته بالاستعلام. تشير الدرجات الأعلى إلى صلة أكبر.
• الصلة: مقياس لمدى تلبية المستند لاحتياجات معلومات المستخدم، كما تم التعبير عنها في الاستعلام.

اختيار خوارزمية بحث

توجد العديد من خوارزميات البحث، لكل منها نقاط قوتها وضعفها. تشمل بعض الخيارات الشائعة:

• البحث الخطي: أبسط نهج، يتضمن المرور عبر كل مستند ومقارنته بالاستعلام. هذا غير فعال لمجموعات البيانات الكبيرة.
• البحث الثنائي: يتطلب أن تكون البيانات مرتبة ويسمح بوقت بحث لوغاريتمي. مناسب للبحث في المصفوفات المرتبة أو الأشجار.
• البحث في جدول التجزئة (Hash Table Lookup): يوفر تعقيد بحث متوسط في الوقت الثابت، ولكنه يتطلب اعتبارًا دقيقًا لتصادمات دالة التجزئة.
• البحث في الفهرس المقلوب: تقنية أكثر تقدمًا تستخدم فهرسًا مقلوبًا لتحديد المستندات التي تحتوي على كلمات رئيسية محددة بسرعة.
• محركات البحث النصي الكامل (مثل Elasticsearch، Lucene): محسّنة للغاية للبحث النصي على نطاق واسع، وتقدم ميزات مثل التجذيع (stemming)، وإزالة الكلمات غير المهمة (stop word removal)، والمطابقة التقريبية (fuzzy matching).

يعتمد الاختيار الأفضل على عوامل مثل حجم مجموعة البيانات، وتكرار التحديثات، وأداء البحث المطلوب.

تنفيذ فهرس مقلوب أساسي في TypeScript

دعنا نوضح تنفيذ فهرس مقلوب أساسي في TypeScript. يركز هذا المثال على فهرسة والبحث في مجموعة من المستندات النصية.

تعريف هياكل البيانات

أولاً، نحدد هياكل البيانات لتمثيل مستنداتنا والفهرس المقلوب:

            
interface Document {
  id: string;
  content: string;
}

interface InvertedIndex {
  [term: string]: string[]; // Term -> List of document IDs
}

            

              
                Copy
              
            
          

إنشاء الفهرس المقلوب

بعد ذلك، ننشئ دالة لبناء الفهرس المقلوب من قائمة المستندات:

            
function createInvertedIndex(documents: Document[]): InvertedIndex {
  const index: InvertedIndex = {};

  for (const document of documents) {
    const terms = document.content.toLowerCase().split(/\s+/); // Tokenize the content

    for (const term of terms) {
      if (!index[term]) {
        index[term] = [];
      }
      if (!index[term].includes(document.id)) {
        index[term].push(document.id);
      }
    }
  }

  return index;
}

            

              
                Copy
              
            
          

البحث في الفهرس المقلوب

الآن، ننشئ دالة للبحث في الفهرس المقلوب عن المستندات التي تطابق استعلامًا:

            
function searchInvertedIndex(index: InvertedIndex, query: string): string[] {
  const terms = query.toLowerCase().split(/\s+/);
  let results: string[] = [];

  if (terms.length > 0) {
    results = index[terms[0]] || [];

    // For multi-word queries, perform intersection of results (AND operation)
    for (let i = 1; i < terms.length; i++) {
      const termResults = index[terms[i]] || [];
      results = results.filter(docId => termResults.includes(docId));
    }
  }

  return results;
}

            

              
                Copy
              
            
          

مثال الاستخدام

إليك مثال على كيفية استخدام الفهرس المقلوب:

            
const documents: Document[] = [
  { id: "1", content: "This is the first document about TypeScript." },
  { id: "2", content: "The second document discusses JavaScript and TypeScript." },
  { id: "3", content: "A third document focuses solely on JavaScript." },
];

const index = createInvertedIndex(documents);
const query = "TypeScript document";
const searchResults = searchInvertedIndex(index, query);

console.log("Search results for '" + query + "':", searchResults); // Output: ["1", "2"]

            

              
                Copy
              
            
          

ترتيب نتائج البحث باستخدام TF-IDF

يقوم تنفيذ الفهرس المقلوب الأساسي بإرجاع المستندات التي تحتوي على مصطلحات البحث، ولكنه لا يرتبها بناءً على الصلة. لتحسين جودة البحث، يمكننا استخدام خوارزمية TF-IDF (Term Frequency-Inverse Document Frequency) لترتيب النتائج.

يقيس TF-IDF أهمية المصطلح داخل المستند بالنسبة لأهميته عبر جميع المستندات. تعتبر المصطلحات التي تظهر بشكل متكرر في مستند معين ولكن نادرًا في المستندات الأخرى أكثر صلة.

حساب تكرار المصطلح (TF)

تكرار المصطلح هو عدد المرات التي يظهر فيها المصطلح في مستند، يتم تطبيعه بإجمالي عدد المصطلحات في المستند:

            
function calculateTermFrequency(term: string, document: Document): number {
  const terms = document.content.toLowerCase().split(/\s+/);
  const termCount = terms.filter(t => t === term).length;
  return termCount / terms.length;
}

            

              
                Copy
              
            
          

حساب تكرار المستند العكسي (IDF)

يقيس تكرار المستند العكسي مدى ندرة المصطلح عبر جميع المستندات. يتم حسابه على أنه لوغاريتم إجمالي عدد المستندات مقسومًا على عدد المستندات التي تحتوي على المصطلح:

            
function calculateInverseDocumentFrequency(term: string, documents: Document[]): number {
  const documentCount = documents.length;
  const documentsContainingTerm = documents.filter(document =>
    document.content.toLowerCase().split(/\s+/).includes(term)
  ).length;

  return Math.log(documentCount / (1 + documentsContainingTerm)); // Add 1 to avoid division by zero
}

            

              
                Copy
              
            
          

حساب درجة TF-IDF

درجة TF-IDF لمصطلح في مستند هي ببساطة حاصل ضرب قيم TF و IDF الخاصة به:

            
function calculateTfIdf(term: string, document: Document, documents: Document[]): number {
  const tf = calculateTermFrequency(term, document);
  const idf = calculateInverseDocumentFrequency(term, documents);
  return tf * idf;
}

            

              
                Copy
              
            
          

ترتيب المستندات

لترتيب المستندات بناءً على مدى صلتها بالاستعلام، نقوم بحساب درجة TF-IDF لكل مصطلح في الاستعلام لكل مستند وجمع الدرجات. تعتبر المستندات ذات الدرجات الإجمالية الأعلى أكثر صلة.

            
function rankDocuments(query: string, documents: Document[]): { document: Document; score: number }[] {
  const terms = query.toLowerCase().split(/\s+/);
  const rankedDocuments: { document: Document; score: number }[] = [];

  for (const document of documents) {
    let score = 0;
    for (const term of terms) {
      score += calculateTfIdf(term, document, documents);
    }
    rankedDocuments.push({ document, score });
  }

  rankedDocuments.sort((a, b) => b.score - a.score); // Sort in descending order of score
  return rankedDocuments;
}

            

              
                Copy
              
            
          

مثال الاستخدام مع TF-IDF

            
const rankedResults = rankDocuments(query, documents);

console.log("Ranked search results for '" + query + "':");
rankedResults.forEach(result => {
  console.log(`Document ID: ${result.document.id}, Score: ${result.score}`);
});

            

              
                Copy
              
            
          

تشابه جيب التمام (Cosine Similarity) للبحث الدلالي

في حين أن TF-IDF فعال للبحث المستند إلى الكلمات الرئيسية، إلا أنه لا يلتقط التشابه الدلالي بين الكلمات. يمكن استخدام تشابه جيب التمام لمقارنة متجهات المستندات، حيث يمثل كل متجه تردد الكلمات في مستند. المستندات ذات توزيعات الكلمات المماثلة سيكون لها تشابه جيب تمام أعلى.

إنشاء متجهات المستندات

أولاً، نحتاج إلى إنشاء مفردات لجميع الكلمات الفريدة عبر جميع المستندات. بعد ذلك، يمكننا تمثيل كل مستند كمتجه، حيث يمثل كل عنصر كلمة في المفردات ويمثل قيمته تردد المصطلح أو درجة TF-IDF لهذه الكلمة في المستند.

            
function createVocabulary(documents: Document[]): string[] {
  const vocabulary = new Set();
  for (const document of documents) {
    const terms = document.content.toLowerCase().split(/\s+/);
    terms.forEach(term => vocabulary.add(term));
  }
  return Array.from(vocabulary);
}

function createDocumentVector(document: Document, vocabulary: string[], useTfIdf: boolean, allDocuments: Document[]): number[] {
  const vector: number[] = [];
  for (const term of vocabulary) {
    if(useTfIdf){
        vector.push(calculateTfIdf(term, document, allDocuments));
    } else {
        vector.push(calculateTermFrequency(term, document));
    }

  }
  return vector;
}

            

              
                Copy
              
            
          

حساب تشابه جيب التمام

يتم حساب تشابه جيب التمام على أنه حاصل الضرب النقطي لمتجهين مقسومًا على حاصل ضرب مقاديرهما:

            
function cosineSimilarity(vectorA: number[], vectorB: number[]): number {
  if (vectorA.length !== vectorB.length) {
    throw new Error("Vectors must have the same length");
  }

  let dotProduct = 0;
  let magnitudeA = 0;
  let magnitudeB = 0;

  for (let i = 0; i < vectorA.length; i++) {
    dotProduct += vectorA[i] * vectorA[i];
    magnitudeA += vectorA[i] * vectorA[i];
    magnitudeB += vectorB[i] * vectorB[i];
  }

  magnitudeA = Math.sqrt(magnitudeA);
  magnitudeB = Math.sqrt(magnitudeB);

  if (magnitudeA === 0 || magnitudeB === 0) {
    return 0; // Avoid division by zero
  }

  return dotProduct / (magnitudeA * magnitudeB);
}

            

              
                Copy
              
            
          

الترتيب باستخدام تشابه جيب التمام

لترتيب المستندات باستخدام تشابه جيب التمام، ننشئ متجهًا للاستعلام (معاملته كمستند) ثم نحسب تشابه جيب التمام بين متجه الاستعلام وكل متجه مستند. تعتبر المستندات ذات تشابه جيب التمام الأعلى أكثر صلة.

            
function rankDocumentsCosineSimilarity(query: string, documents: Document[], useTfIdf: boolean): { document: Document; similarity: number }[] {
    const vocabulary = createVocabulary(documents);
    const queryDocument: Document = { id: "query", content: query };
    const queryVector = createDocumentVector(queryDocument, vocabulary, useTfIdf, documents);
    const rankedDocuments: { document: Document; similarity: number }[] = [];

    for (const document of documents) {
        const documentVector = createDocumentVector(document, vocabulary, useTfIdf, documents);
        const similarity = cosineSimilarity(queryVector, documentVector);
        rankedDocuments.push({ document, similarity });
    }

    rankedDocuments.sort((a, b) => b.similarity - a.similarity); // Sort in descending order of similarity
    return rankedDocuments;
}

            

              
                Copy
              
            
          

مثال الاستخدام مع تشابه جيب التمام

            
const rankedResultsCosine = rankDocumentsCosineSimilarity(query, documents, true); //Use TF-IDF for vector creation

console.log("Ranked search results (Cosine Similarity) for '" + query + "':");
rankedResultsCosine.forEach(result => {
    console.log(`Document ID: ${result.document.id}, Similarity: ${result.similarity}`);
});

            

              
                Copy
              
            
          

نظام أنواع TypeScript للأمان والصيانة المحسّنين

يوفر نظام أنواع TypeScript العديد من المزايا لتنفيذ خوارزميات البحث:

• أمان الأنواع (Type Safety): يساعد TypeScript في اكتشاف الأخطاء مبكرًا من خلال فرض قيود الأنواع. هذا يقلل من خطر استثناءات وقت التشغيل ويحسن موثوقية التعليمات البرمجية.
• اكتمال التعليمات البرمجية (Code Completeness): يمكن لبيئات التطوير المتكاملة (IDEs) توفير إكمال واقتراحات أفضل للتعليمات البرمجية بناءً على أنواع المتغيرات والدوال.
• دعم إعادة الهيكلة (Refactoring Support): يجعل نظام أنواع TypeScript من السهل إعادة هيكلة التعليمات البرمجية دون إدخال أخطاء.
• صيانة محسّنة (Improved Maintainability): توفر الأنواع توثيقًا وتجعل التعليمات البرمجية أسهل للفهم والصيانة.

استخدام اختصارات الأنواع والواجهات

تسمح لنا اختصارات الأنواع (Type Aliases) والواجهات (Interfaces) بتعريف أنواع مخصصة تمثل هياكل بياناتنا وتوقيعات الدوال. هذا يحسن قابلية قراءة التعليمات البرمجية والصيانة. كما رأينا في الأمثلة السابقة، فإن واجهات `Document` و `InvertedIndex` تعزز وضوح التعليمات البرمجية.

الأنواع العامة (Generics) لإعادة الاستخدام

يمكن استخدام الأنواع العامة (Generics) لإنشاء خوارزميات بحث قابلة لإعادة الاستخدام تعمل مع أنواع مختلفة من البيانات. على سبيل المثال، يمكننا إنشاء دالة بحث عامة يمكنها البحث في مصفوفات من الأرقام أو السلاسل النصية أو الكائنات المخصصة.

الاتحادات المميزة (Discriminated Unions) للتعامل مع أنواع بيانات مختلفة

يمكن استخدام الاتحادات المميزة (Discriminated Unions) لتمثيل أنواع مختلفة من المستندات أو الاستعلامات. هذا يسمح لنا بالتعامل مع أنواع البيانات المختلفة بطريقة آمنة من حيث النوع.

اعتبارات الأداء

يعد أداء خوارزميات البحث أمرًا بالغ الأهمية، خاصة بالنسبة لمجموعات البيانات الكبيرة. ضع في اعتبارك تقنيات التحسين التالية:

• هياكل بيانات فعالة: استخدم هياكل بيانات مناسبة للفهرسة والبحث. يمكن أن تحسن الفهارس المقلوبة، وجداول التجزئة، والأشجار الأداء بشكل كبير.
• التخزين المؤقت (Caching): قم بتخزين البيانات التي يتم الوصول إليها بشكل متكرر مؤقتًا لتقليل الحاجة إلى الحسابات المتكررة. يمكن أن تكون المكتبات مثل `lru-cache` أو استخدام تقنيات التذكير (memoization) مفيدة.
• العمليات غير المتزامنة (Asynchronous Operations): استخدم العمليات غير المتزامنة لتجنب حظر الخيط الرئيسي. هذا مهم بشكل خاص لتطبيقات الويب.
• المعالجة المتوازية (Parallel Processing): استفد من النوى أو الخيوط المتعددة لموازاة عملية البحث. يمكن الاستفادة من Web Workers في المتصفح أو Worker Threads في Node.js.
• مكتبات التحسين: ضع في اعتبارك استخدام مكتبات متخصصة لمعالجة النصوص، مثل مكتبات معالجة اللغة الطبيعية (NLP)، والتي يمكن أن توفر تطبيقات محسّنة للتجذيع، وإزالة الكلمات غير المهمة، وغيرها من تقنيات تحليل النصوص.

تطبيقات العالم الحقيقي

يمكن تطبيق خوارزميات البحث في TypeScript في سيناريوهات واقعية مختلفة:

• بحث التجارة الإلكترونية: تشغيل عمليات البحث عن المنتجات على مواقع التجارة الإلكترونية، مما يسمح للمستخدمين بالعثور بسرعة على العناصر التي يبحثون عنها. تشمل الأمثلة البحث عن المنتجات على Amazon أو eBay أو متاجر Shopify.
• بحث قاعدة المعرفة: تمكين المستخدمين من البحث في المستندات والمقالات والأسئلة الشائعة. يستخدم في أنظمة دعم العملاء مثل Zendesk أو قواعد المعرفة الداخلية.
• بحث التعليمات البرمجية: مساعدة المطورين في العثور على مقتطفات التعليمات البرمجية، والدوال، والفئات داخل قاعدة تعليمات برمجية. مدمج في IDEs مثل VS Code والمستودعات عبر الإنترنت مثل GitHub.
• بحث المؤسسات: توفير واجهة بحث موحدة للوصول إلى المعلومات عبر أنظمة المؤسسات المختلفة، مثل قواعد البيانات وخوادم الملفات وأرشيفات البريد الإلكتروني.
• بحث وسائل التواصل الاجتماعي: السماح للمستخدمين بالبحث عن المنشورات والمستخدمين والمواضيع على منصات التواصل الاجتماعي. تشمل الأمثلة وظائف البحث في Twitter و Facebook و Instagram.

خاتمة

يوفر TypeScript بيئة قوية وآمنة من حيث النوع لتنفيذ خوارزميات البحث. من خلال الاستفادة من نظام أنواع TypeScript، يمكن للمطورين إنشاء حلول بحث قوية وعالية الأداء وقابلة للصيانة لمجموعة واسعة من التطبيقات. بدءًا من الفهارس المقلوبة الأساسية وصولاً إلى خوارزميات الترتيب المتقدمة مثل TF-IDF وتشابه جيب التمام، يمكّن TypeScript المطورين من بناء أنظمة استرجاع معلومات فعالة.

قدم منشور المدونة هذا نظرة شاملة على خوارزميات البحث في TypeScript، بما في ذلك المفاهيم الأساسية، وتفاصيل التنفيذ، واعتبارات الأداء. من خلال فهم هذه المفاهيم والتقنيات، يمكن للمطورين بناء حلول بحث متطورة تلبي الاحتياجات الخاصة لتطبيقاتهم.